PRL速递：重整化理论描述神经网络动力学
摘要
临界性与最佳计算能力有着深刻的联系。然而，到目前为止，由于缺乏大脑临界动力学的重整化理论，对这种形式的生物信息处理的理解仅限于平均场结果。这些方法忽略了临界系统的一个关键特征：跨越所有长度尺度的自由度之间存在相互作用，这是复杂非线性计算所需要的。我们提出了一种神经场理论的重整化理论，即随机 Wilson-Cowan 模型。我们计算了耦合流，它在不断增加的长度尺度上参数化相互作用。尽管与 Kardar-Parisi-Zhang 模型有相似之处，但该理论属于 Gell-Mann-Low 类型，是可重整化量子场论的典型形式。在这里，非线性耦合消失，流向高斯固定点，但呈对数慢化，因此在大多数尺度上仍然有效。我们展示了这种临界的相互作用结构，以实现信息存储的最佳线性和计算所需的非线性之间的理想权衡。
研究领域：神经网络动力学，重整化，量子场论
潘佳栋 | 作者
梁金 | 审校
邓一雪 | 编辑
论文题目：Gell-Mann–Low Criticality in Neural Networks论文链接：https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.128.168301
1. 临界的大脑
1. 临界的大脑
临界点和信息处理有很深的关系。例如，对最难解决的组合优化问题的统计描述，就处于相变的临界点[1,2]。大脑活动也显示出临界性，这似乎可以优化网络的计算属性。为了有效地处理信息，大脑被认为是在两相之间的临界点上运行。在临界点上，神经元网络足够稳定，能够可靠地存储信息，但又足够敏感，能够迅速向大脑的其他遥远部位发送信号。现在，使用量子场论中的方法，德国尤利希研究中心的 Moritz Helias 和他的同事证实，这些临界点在大脑动力学的经典模型中确实存在。
该团队考虑了 Wilson-Cowan 模型，在该模型中，神经元集合被外部刺激或与邻居的相互作用激发。在以前对这个模型的研究中，研究人员使用简化的平均场近似，但是它不能解释在大脑中观察到的全部复杂现象。事实上，研究人员发现 Wilson-Cowan 模型确实可以存在临界点。在二维空间，即对应于皮质网络的平面组织中，平均场理论失效。
图1. (a) 模型原理图。(b) 方差。蓝色菱形为模拟情况；深蓝色虚线为线性系统；灰色实线为重整化理论给出。(c) 耦合流。过渡线（黑色虚线）将收敛区（绿色）和发散区（红色）分开。非物理稳态的区域为深红色。(d) 记忆。对于不同强度非线性高斯输入的重建精度（0：完全遗忘；1：完美重建）随时间的变化。(e) 分类。正确分配给3位字符串的奇偶性（蓝色曲线）和重复训练的标准偏差（阴影区域）。读出时最慢（红色）、中间（橙色）和最快（绿色）模式的衰减时间尺度。
2. 超越平均场，
重整化理论描述神经网络动力学
Moritz Helias 和他的团队通过应用一种叫做重整化的技术超越了这种近似，这种技术在量子场论中通常用于处理奇点（singularity）——具有无穷值的量。该团队的模型还涉及神经元之间相互作用强度的区别。但研究人员发现，在重整化之后，近处和远处的神经元都能有效地相互沟通，同时仍然保留了存储记忆的能力。这种在小距离和大距离尺度上的协调是临界性的一个标志。
研究人员发现并证明了 Gell-Mann-Low 类型的临界性。这种临界性对大脑计算极为关键。信息处理可能受益于线性行为与非线性行为之间的平衡，前者支持信息存储和传递，后者则是计算所必需的。Gell-Mann-Low 临界性通过使临界点位于平均场和强耦合固定点之间，实现了这种平衡。
他们首先关注的是记忆。为了具象化，考虑费舍尔记忆曲线。在线性情况下，它随时间衰减为t-2，这是最优的[3]。直观地说，非线性行为引起的信号失真使得检索过去输入的信息更加困难（当然，一些网络结构可能被微调为与非线性的最佳相互作用，从而增加记忆，例如通过主动噪声抑制[4]，但这在模型中没有发生）。在 Gell-Mann-Low 情况中，非线性流变为零，而不是变成一个强耦合的固定点。
然而，与平均场情况相反，非线性相互作用只以对数速度消失。因此，它们实际上在所有长度尺度上都是有效的，允许系统的自由度相互作用并共同进行计算。他们通过训练两个线性函数来正确分类3位字符串的奇偶性，从而说明非线性相互作用的性质[5]。
研究人员提供了一个神经网络动力学的重整化理论，以揭示跨尺度的非线性相互作用的结构，这是迄今为止平均场方法所不能做到的。这个框架为超越平均场的普适性[6,7]打开了大门，这些普适性类可能隐藏在临界大脑活动背后。他们认为，超越平均场的行为是计算的基础，并提供工具来定量处理处于临界点的非线性信号转换。应用随机 Wilson-Cowan 模型，他们发现了一种新的临界点形式，它对生物学上合理的外部驱动是鲁棒的。在二维情况下，临界行为是Gell-Mann-Low类型的；与平均场行为相反，非线性耦合，即计算的根本，在这里仍然与所有长度尺度相关。然而，它们缓慢消失的流并不改变平均场临界指数的阶。这可能解释了为什么以前的工作可能忽略了超出平均场的行为。
3. 展望
探讨在更复杂的模型中是否会出现这种或其他类型的临界，将是很有趣的。例如，在具有多个皮质层的模型中，涌现行为可能会影响沿皮质表面的临界性。除了这里考虑的突触强度外，层次网络的结构也是一个参数，它可以将系统调整到临界状态，并有趣地将其扩展到参数空间的广泛区域[8]。一般来说，这里提出的方法适用于任何随机动力学系统；特别是神经网络模型，其中一些模型甚至被表述为场论。
重整化技术也正被应用于人工神经网络[9,10]。在储层计算的背景下，他们认为Gell-Mann-Low临界性支持线性和非线性动力学之间的计算上的最佳平衡。他们的分析也可以扩展到具有可训练的隐藏权重的递归网络，这些网络适合于场论的表述[11-13]，进一步研究临界性和计算之间的关系。总的来说，这里的神经场理论、非平衡统计物理学的核心Kardar-Parisi-Zhang模型和量子场论之间的联系，为从这些领域转移专业知识提供了方法，这些方法在上述领域被广泛使用。
虽然有强有力的证据表明大脑中存在临界状态，但还没有人完全解释为什么我们的大脑会以这种方式运作。这个新结果是朝这个方向迈出的一步。该团队下一步计划在神经元的连接方式中加入一些随机性，就像我们大脑中的情况一样。
参考文献：
[1] P. Cheeseman, B. Kanefsky, and W. M. Taylor, in Proceed- ings of the 12th International Joint Conference on Artificial Intelligence—Volume 1 (Morgan Kaufmann Publishers Inc., San Francisco, CA, 1991), IJCAI’91, pp. 331–337, ISBN 1558601600.
[2] L. Saitta, A. Giordana, and A. Cornue ́jols, Phase Transitions in Machine Learning (Cambridge University Press, Cambridge, England, 2011).
[3] S. Ganguli, D. Huh, and H. Sompolinsky, Proc. Natl. Acad. Sci. U.S.A. 105, 18970 (2008).
[4] T. Toyoizumi, Neural Comput. 24, 2678 (2012).
[5] See Supplemental Material at http://link.aps.org/supplemental10.1103/PhysRevLett.128.168301 for further details on theoretical calculations, numerical simulations, and computational tasks.
[6] P. C. Hohenberg and B. I. Halperin, Rev. Mod. Phys. 49, 435 (1977).
[7] U. C. Taeuber, Critical Dynamics: A Field Theory Approach to Equilibrium and Non-Equilibrium Scaling Behavior (Cambridge University Press, Cambridge, England, 2014), ISBN 9780521842235.
[8] P. Moretti and M. A. Muñoz, Nat. Commun. 4, 2521 (2013).
[9] P. Mehta and D. J. Schwab, arXiv:1410.3831.
[10] D. A. Roberts, S. Yaida, and B. Hanin, The Principles of Deep Learning Theory: An Effective Theory Approach to Understanding Neural Networks (Cambridge University Press, Cambridge, England, 2022).
[11] H. Sompolinsky, A. Crisanti, and H. J. Sommers, Phys. Rev. Lett. 61, 259 (1988).
[12] J. Schuecker, S. Goedeke, and M. Helias, Phys. Rev. X 8, 041029 (2018).
[13] K. Krishnamurthy, T. Can, and D. J. Schwab, Phys. Rev. X 12, 011011 (2022).
临界点和信息处理有很深的关系。例如，对最难解决的组合优化问题的统计描述，就处于相变的临界点[1,2]。大脑活动也显示出临界性，这似乎可以优化网络的计算属性。为了有效地处理信息，大脑被认为是在两相之间的临界点上运行。在临界点上，神经元网络足够稳定，能够可靠地存储信息，但又足够敏感，能够迅速向大脑的其他遥远部位发送信号。现在，使用量子场论中的方法，德国尤利希研究中心的 Moritz Helias 和他的同事证实，这些临界点在大脑动力学的经典模型中确实存在。
该团队考虑了 Wilson-Cowan 模型，在该模型中，神经元集合被外部刺激或与邻居的相互作用激发。在以前对这个模型的研究中，研究人员使用简化的平均场近似，但是它不能解释在大脑中观察到的全部复杂现象。事实上，研究人员发现 Wilson-Cowan 模型确实可以存在临界点。在二维空间，即对应于皮质网络的平面组织中，平均场理论失效。
2. 超越平均场，
重整化理论描述神经网络动力学
2. 超越平均场，
重整化理论描述神经网络动力学
Moritz Helias 和他的团队通过应用一种叫做重整化的技术超越了这种近似，这种技术在量子场论中通常用于处理奇点（singularity）——具有无穷值的量。该团队的模型还涉及神经元之间相互作用强度的区别。但研究人员发现，在重整化之后，近处和远处的神经元都能有效地相互沟通，同时仍然保留了存储记忆的能力。这种在小距离和大距离尺度上的协调是临界性的一个标志。
研究人员发现并证明了 Gell-Mann-Low 类型的临界性。这种临界性对大脑计算极为关键。信息处理可能受益于线性行为与非线性行为之间的平衡，前者支持信息存储和传递，后者则是计算所必需的。Gell-Mann-Low 临界性通过使临界点位于平均场和强耦合固定点之间，实现了这种平衡。
他们首先关注的是记忆。为了具象化，考虑费舍尔记忆曲线。在线性情况下，它随时间衰减为t-2，这是最优的[3]。直观地说，非线性行为引起的信号失真使得检索过去输入的信息更加困难（当然，一些网络结构可能被微调为与非线性的最佳相互作用，从而增加记忆，例如通过主动噪声抑制[4]，但这在模型中没有发生）。在 Gell-Mann-Low 情况中，非线性流变为零，而不是变成一个强耦合的固定点。
然而，与平均场情况相反，非线性相互作用只以对数速度消失。因此，它们实际上在所有长度尺度上都是有效的，允许系统的自由度相互作用并共同进行计算。他们通过训练两个线性函数来正确分类3位字符串的奇偶性，从而说明非线性相互作用的性质[5]。
研究人员提供了一个神经网络动力学的重整化理论，以揭示跨尺度的非线性相互作用的结构，这是迄今为止平均场方法所不能做到的。这个框架为超越平均场的普适性[6,7]打开了大门，这些普适性类可能隐藏在临界大脑活动背后。他们认为，超越平均场的行为是计算的基础，并提供工具来定量处理处于临界点的非线性信号转换。应用随机 Wilson-Cowan 模型，他们发现了一种新的临界点形式，它对生物学上合理的外部驱动是鲁棒的。在二维情况下，临界行为是Gell-Mann-Low类型的；与平均场行为相反，非线性耦合，即计算的根本，在这里仍然与所有长度尺度相关。然而，它们缓慢消失的流并不改变平均场临界指数的阶。这可能解释了为什么以前的工作可能忽略了超出平均场的行为。
3. 展望
3. 展望
探讨在更复杂的模型中是否会出现这种或其他类型的临界，将是很有趣的。例如，在具有多个皮质层的模型中，涌现行为可能会影响沿皮质表面的临界性。除了这里考虑的突触强度外，层次网络的结构也是一个参数，它可以将系统调整到临界状态，并有趣地将其扩展到参数空间的广泛区域[8]。一般来说，这里提出的方法适用于任何随机动力学系统；特别是神经网络模型，其中一些模型甚至被表述为场论。
重整化技术也正被应用于人工神经网络[9,10]。在储层计算的背景下，他们认为Gell-Mann-Low临界性支持线性和非线性动力学之间的计算上的最佳平衡。他们的分析也可以扩展到具有可训练的隐藏权重的递归网络，这些网络适合于场论的表述[11-13]，进一步研究临界性和计算之间的关系。总的来说，这里的神经场理论、非平衡统计物理学的核心Kardar-Parisi-Zhang模型和量子场论之间的联系，为从这些领域转移专业知识提供了方法，这些方法在上述领域被广泛使用。
虽然有强有力的证据表明大脑中存在临界状态，但还没有人完全解释为什么我们的大脑会以这种方式运作。这个新结果是朝这个方向迈出的一步。该团队下一步计划在神经元的连接方式中加入一些随机性，就像我们大脑中的情况一样。
参考文献：
[1] P. Cheeseman, B. Kanefsky, and W. M. Taylor, in Proceed- ings of the 12th International Joint Conference on Artificial Intelligence—Volume 1 (Morgan Kaufmann Publishers Inc., San Francisco, CA, 1991), IJCAI’91, pp. 331–337, ISBN 1558601600.
[2] L. Saitta, A. Giordana, and A. Cornue ́jols, Phase Transitions in Machine Learning (Cambridge University Press, Cambridge, England, 2011).
[3] S. Ganguli, D. Huh, and H. Sompolinsky, Proc. Natl. Acad. Sci. U.S.A. 105, 18970 (2008).
[4] T. Toyoizumi, Neural Comput. 24, 2678 (2012).
[5] See Supplemental Material at http://link.aps.org/supplemental10.1103/PhysRevLett.128.168301 for further details on theoretical calculations, numerical simulations, and computational tasks.
[6] P. C. Hohenberg and B. I. Halperin, Rev. Mod. Phys. 49, 435 (1977).
[7] U. C. Taeuber, Critical Dynamics: A Field Theory Approach to Equilibrium and Non-Equilibrium Scaling Behavior (Cambridge University Press, Cambridge, England, 2014), ISBN 9780521842235.
[8] P. Moretti and M. A. Muñoz, Nat. Commun. 4, 2521 (2013).
[9] P. Mehta and D. J. Schwab, arXiv:1410.3831.
[10] D. A. Roberts, S. Yaida, and B. Hanin, The Principles of Deep Learning Theory: An Effective Theory Approach to Understanding Neural Networks (Cambridge University Press, Cambridge, England, 2022).
[11] H. Sompolinsky, A. Crisanti, and H. J. Sommers, Phys. Rev. Lett. 61, 259 (1988).
[12] J. Schuecker, S. Goedeke, and M. Helias, Phys. Rev. X 8, 041029 (2018).
[13] K. Krishnamurthy, T. Can, and D. J. Schwab, Phys. Rev. X 12, 011011 (2022).
论文 Abstract
神经动力学模型读书会
随着电生理学、网络建模、机器学习、统计物理、类脑计算等多种技术方法的发展，我们对大脑神经元相互作用机理与连接机制，对意识、语言、情绪、记忆、社交等功能的认识逐渐深入，大脑复杂系统的谜底正在被揭开。为了促进神经科学、系统科学、计算机科学等领域研究者的交流合作，我们发起了【神经动力学模型读书会】。
集智俱乐部读书会是面向广大科研工作者的系列论文研读活动，其目的是共同深入学习探讨某个科学议题，激发科研灵感，促进科研合作。【神经动力学模型读书会】由集智俱乐部和天桥脑科学研究院联合发起，已于3月19日开始，每周六下午14:00-16:00（或每周五晚上19:00-21:00，根据实际情况调整）进行，预计持续10-12周。期间将围绕神经网络多尺度建模及其在脑疾病、脑认知方面的应用进行研讨。
详情请见：
推荐阅读
网络神经科学前沿：大脑如何在局部和全局高效处理信息？ 重整化群：从微观到宏观，不同尺度的现象如何联系起来？ PRL前沿：重整化群和信息论的关联 《张江·复杂科学前沿27讲》完整上线！ 成为集智VIP，解锁全站课程／读书会 加入集智，一起复杂！
点击“阅读原文”，报名读书会